Іван Аляксеевіч Ермалаеў нарадзіўся 15 кастрычніка 1907 года ў вёсцы Вялікія Бярэзіцы Наўгародскай губерні (цяпер Шымскага раёна Наўгародскай вобласці) у сялянскай сям’і. Скончыў 7 класаў. Прызваны ў Чырвоную армію ў 1929 годзе Салецкім райваенкаматам. У 1934 годзе скончыў Ленінградскае ваенна-палітычнае вучылішча, пасля чаго сем гадоў служыў палітруком, затым — камісарам.